Обзор и ландшафт архитектурной эволюции

Мы переходим от фундаментального успеха AlexNet к эпохе сверхглубоких сверточных нейронных сетей (CNN). Этот сдвиг потребовал глубоких архитектурных инноваций для работы с экстремальной глубиной при сохранении стабильности обучения. Мы проанализируем три ключевые архитектуры —VGG, GoogLeNet (Inception), и ResNet—понимая, как каждая из них решала различные аспекты проблемы масштабирования, заложив основу для строгой интерпретации моделей в последующих частях урока.

1. Структурная простота: VGG

VGG ввела парадигму максимизации глубины с использованием исключительно однородных и малых размеров ядер (исключительно 3x3 сверточных фильтров сложенных). Несмотря на высокую вычислительную сложность, его структурная однородность показала, что чистая глубина, достигаемая за счет минимальных изменений архитектуры, была главным фактором повышения производительности, укрепив важность малых полей восприятия.

2. Вычислительная эффективность: GoogLeNet (Inception)

GoogLeNet противостоял высокой вычислительной стоимости VGG, делая акцент на эффективности и многомасштабном извлечении признаков. Ключевая инновация — это модуль Inception, который выполняет параллельные свертки (1x1, 3x3, 5x5) и пулинг. Критически важно, что он использует свертки 1x1 как бутылочные горлышки для резкого снижения количества параметров и вычислительной сложности до дорогостоящих операций.